iT邦幫忙

2024 iThome 鐵人賽

DAY 9
0

今天還是繼續實作的部分

  • 已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?
  • 以買賣期貨為例,一秒鐘可能會有 0 筆 ~ 數百甚是數千筆交易接連發生。 這些訊息會透過如訊息佇列(Message Queue)的方式接收並且排隊等待被處理。 這麼瑣碎的資料,不會長時間被保存在讀寫快速的設備上,那樣會很貴。
  • 通常只會被保存在佇列中幾分鐘到幾小時。 所以要趁著可以記錄的時候,把行情收下來,等有空的時候再來分析。

流程

  1. 呼叫 Fugle 個股、期貨選擇權的 trade API。
  2. 接收到行情後,寫到檔案裡。
  3. 每隔 x 分鐘,包裝成一個檔案
  4. 把檔案拋送到 S3 Bucket。

程式碼

成本

  • AWS CLI 指令呼叫 S3 上傳與下載:
  • S3 檔案儲存與資料傳輸:https://aws.amazon.com/tw/s3/pricing/

結論

  • 一秒鐘幾十萬上下 ...

上一篇
【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy
下一篇
【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例
系列文
老闆,外帶一份 AWS Certified Data Engineer13
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言